home *** CD-ROM | disk | FTP | other *** search
/ InfoMagic Internet Tools 1995 April / Internet Tools.iso / infoserv / gopher / Unix / GopherTools / travel-12.README < prev    next >
Encoding:
Text File  |  1994-08-19  |  5.3 KB  |  137 lines
  1. Traveller
  2. =========
  3.  
  4. The traveller programs help users find their way around gopher servers,
  5. by enabling them to search for an title (much like veronica) and to
  6. know what is new in a gopher graph (much like whatsnewd).  The information
  7. is updated automatically, and that does pose some limitations to the tool:
  8. if some part of the gopherspace is updated very often, it tends to shadow
  9. the less frequent updates to other parts of the gopherspace.
  10.  
  11. The system can be explained better with the help of a metaphor.  Imagine
  12. yourself in the old medieval days, when there were no newspapers, no
  13. TV news, nor, in fact, any organized way to difuse information.  In those
  14. times, the travellers carried the news.  When going from place to place,
  15. they would hear and repeat stories at each stop.
  16.  
  17. That is very much what the traveller programs do.  A set of specialised
  18. programs can travel through gopherspace, including ftp servers and local
  19. filesystems, ommiting uninteresting items.  A different program
  20. accumulates the results, and creates a memory of what items exist, and
  21. when were they first seen.  Finally, a go4gw daemon answers questions.
  22. The query language allows queries on the name, type, path, host, and
  23. port, and also on depth and age of the item.
  24.  
  25. You can take a look at a running server in:
  26.  
  27. Type=1
  28. Name=Traveller memories
  29. Host=gopher.fct.unl.pt
  30. Port=4320
  31. Path=travel
  32.  
  33. DISTRIBUTION:
  34.  
  35. This is a first attempt to a documentation for the traveller programs.
  36. Most files have vestigial manpages at their beginning. Refer to them
  37. or, as a last resort, to the code, to solve the details.
  38.  
  39. The traveller programs are distributed in a tar file with the following
  40. structure:
  41.  
  42. README     -- this file
  43. LEGAL      -- just to lighten your heart
  44. TODO       -- some indication of things that could be done
  45. data       -- the data directory, plus miscelaneous scripts and kill files
  46. daemon     -- the server programs
  47. lib        -- libraries for the use of the server and the travellers
  48. travellers -- the traveller programs
  49.  
  50. INSTALLATION:
  51.  
  52. Create a data directory somewhere, and give it the right permissions.
  53. Copy the travellers to some bin directory;
  54. Copy the g2travel daemon to where you have the other go4gw gateways,
  55. and install it in go4gw.conf
  56. Copy the libraries to some common place, accessible for both the daemon
  57. and the travellers.
  58.  
  59. Edit g2travel: change $travel_dir to point to your travel data directory;
  60. Edit the travel.conf file in the data directory.
  61. ... Now the server should be up and running, but it has no data to show!
  62.  
  63. ORGANIZATION OF THE DATA DIRECTORY:
  64.  
  65. travel.conf -- describes the existing travellers (as the user will see them).
  66.                Assigns a file prefix to each one.
  67.  
  68. about -- global help file
  69.  
  70. For each "user" traveller, with prefix "pref", the daemon will use the
  71. following files, if they exist:
  72.  
  73. pref.about  -- help file for the "pref" traveller (optional)
  74. pref.gtimes -- the travel results, created by gtimes and the travellers
  75. pref.pretty -- the road map created by gpretty (optional)
  76.  
  77. By convention, the following files may also exist, but are ignored by the
  78. server:
  79.  
  80. pref.bak    -- backup of the last pref.gtimes, should something go wrong
  81. pref.travel -- the last travel of some traveller
  82. pref.kill   -- kill file for the "pref" traveller
  83. pref.sh     -- shell script to run the "pref" traveller and update its
  84.                corresponding pref.gtimes file
  85.  
  86. RUNNING THE TRAVELLERS:
  87.  
  88. Take a look at some ".sh" files to see how it runs.  The method depends
  89. from how the data is to be collected.
  90.  
  91. The easiest way is to run gtravel.  It will walk through a gopher server,
  92. and see exactly what the server sees.  If you don't use a good kill file,
  93. however, you may try to explore the whole gopherspace, so please be
  94. careful, and watch it run the first time.
  95.  
  96. ftravel is useful if you are serving a large file system; gtravel may
  97. be too slow.
  98.  
  99. lstravel is useful if you connect to ftp servers; it will take an "ls -lR"
  100. and turn it into a travel file.
  101.  
  102. All these programs create travel files.  After that, you run gtimes to
  103. produce the final gtimes file.
  104.  
  105. THE KILL FILES:
  106.  
  107. These where somewhat inherited from whatsnewd.  Each line can start with
  108. either "kill" or "keep" or "kill-subs-of" or "kill-subs-of". An item
  109. is kept if it matches at least one "keep" line and does not match any
  110. "kill" line; a menu link is explored (recursed into) if it matches at
  111. least one "keep-subs-of" line and does not match any "kill-subs-of" line.
  112.  
  113. The expressions afterwords can make reference to the variables:
  114. type, name, path, host, port, depth ... of the item
  115. type0, name0, path0, host0, port0, depth0 .. of the item's father (but note
  116.                                              that these ane not always
  117.                                              available).
  118. Operands include
  119. = eq   -- equal
  120. != ne  -- not equal
  121. ~ =~   -- matches regular expression
  122. !~     -- does not match regular expression
  123.  
  124. The values can be a single word (no white space), or something inside "".
  125.  
  126. Here are some useful examples:
  127.  
  128. keep name = my.host.address    --- only keep things at my host
  129. keep name0 = my.host.address   --- my server plus things one hop away
  130. kill path ~ ^./tmp/            --- kill everything under the top directory tmp
  131.  
  132. CHANGES:
  133.  
  134. v1.2 - 20-Aug-94:  Bug fixes, no new functionality.
  135. v1.1 - 02-Dec-93:  Compressed *.gtimes files, added missing file.
  136. v1.0 - 21-Sep-93:  First release.
  137.